Uma abordagem única para todos provavelmente não é a melhor estratégia ao projetar sistemas de inteligência artificial que auxiliem os usuários no diagnóstico de doenças.

Um novo estudo realizado por pesquisadores do MIT e de outras instituições descobriu que, embora a assistência da IA geralmente melhore a precisão de não especialistas e médicos no diagnóstico de doenças de pele, os métodos de explicabilidade da IA têm impactos diferentes dependendo do nível de conhecimento dos usuários. 

Os métodos de IA explicável ajudam os usuários a saber quando confiar nas previsões de um modelo, descrevendo ou validando o processo de tomada de decisão do modelo. Por exemplo, um modelo pode usar um mapa de calor para destacar as regiões da imagem que foram mais importantes em seu diagnóstico ou um modelo de linguagem abrangente (LLM) para explicar a previsão em linguagem simples.

Neste estudo, pesquisadores testaram não especialistas e profissionais de atenção primária no diagnóstico de doenças de pele, com e sem o auxílio de diferentes sistemas de IA explicáveis. 

Eles descobriram que a precisão diagnóstica dos não especialistas melhorou, mas isso se deveu em grande parte à deferência ao sistema de IA. Os não especialistas confiaram nas explicações baseadas no LLM, independentemente de estarem certas ou erradas, e consideraram as explicações mais convincentes quando eram vagas ou genéricas.

Em contrapartida, os médicos não foram prejudicados pela assistência incorreta da IA e tiveram melhor desempenho quando receberam apenas a previsão do modelo, sem qualquer explicação adicional. 

“Bons sistemas de IA podem melhorar o desempenho em alguns contextos de saúde, mas isso precisa ser cuidadosamente equilibrado com a deferência algorítmica, que pode levar a mais erros. Sabemos que tanto a IA quanto os métodos de explicabilidade podem gerar viés de automação em humanos, e esse efeito de ancoragem é algo que deve ser levado em consideração ao projetarmos sistemas de IA”, afirma Marzyeh Ghassemi, professora associada do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) do MIT, membro do Instituto de Engenharia Médica e Ciência e pesquisadora principal do Laboratório de Sistemas de Informação e Decisão e da Clínica Abdul Latif Jameel para Aprendizado de Máquina em Saúde.

“Essas descobertas são importantes, visto que os pacientes recorrem cada vez mais à IA para auxiliar em seus cuidados de saúde. Nossos resultados mostram que aqueles com menos conhecimento médico são os mais propensos a serem induzidos ao erro quando modelos de IA explicáveis fornecem um resultado errôneo”, afirma Roxana Daneshjou, coautora e professora assistente de ciência de dados biomédicos e dermatologia na Universidade Stanford.

Esses resultados reforçam a importância de construir sistemas de IA pensando nos usuários e de desenvolver métodos de explicabilidade que incentivem o pensamento crítico em vez da dependência excessiva do modelo, afirmam os pesquisadores.

“Está ficando óbvio que não podemos simplesmente presumir que uma boa IA resolverá todos os problemas. Precisamos prestar muita atenção aos usuários que utilizarão o sistema de IA, porque a mesma explicação pode ajudar um especialista e confundir um iniciante. Muitas vezes, as pessoas que mais se beneficiariam da IA são as que têm maior probabilidade de serem enganadas por ela, então a forma como apresentamos uma recomendação é tão importante quanto a sua correção”, afirma o autor principal, Orson Xu, professor assistente do Departamento de Informática Biomédica da Universidade Columbia.

Ghassemi, Xu e Daneshjou contam com a colaboração de diversos autores no artigo, incluindo o estudante de pós-graduação do MIT, Haoran Zhang, a estudante de graduação Reina Wang e Luis Soenksen, PhD '20, pesquisador afiliado à Clínica Jameel, além de médicos e pesquisadores. Uma descrição do trabalho foi publicada hoje na Nature Medicine .

Diversas interfaces de IA aprovadas pela FDA estão sendo utilizadas para auxiliar médicos na identificação de doenças de pele em imagens médicas, como forma de agilizar o diagnóstico precoce. Além de fornecer uma previsão sobre a presença ou não da doença na imagem, essas ferramentas geralmente utilizam um dos vários métodos que explicam o processo de tomada de decisão do modelo.

Ao mesmo tempo, pessoas sem conhecimento especializado podem realizar diagnósticos digitais por conta própria, utilizando mecanismos de busca com inteligência artificial que preveem doenças de pele com base em informações fornecidas pelo usuário. Esses sistemas frequentemente utilizam Modelos de Aprendizagem Linear (LLMs) para explicar a previsão do modelo em termos mais simples.

Os pesquisadores exploraram os efeitos e os benefícios potenciais dessas ferramentas de IA explicável para médicos de atenção primária e não especialistas na detecção de doenças dermatológicas. Eles testaram os usuários mostrando-lhes imagens médicas juntamente com uma previsão de doença de pele feita por IA, empregando diferentes abordagens de IA explicável. 

Essas abordagens incluíram: uma previsão de IA e um nível de confiança sem explicação, um método que fornece imagens semelhantes para reforçar sua previsão, uma abordagem baseada em mapa de calor que destaca regiões importantes da imagem e um modelo de lógica de aprendizagem (LLM) que explica o raciocínio do modelo em linguagem simples.

Pessoas sem formação na área foram incumbidas de decidir se a imagem de uma pinta na pele era cancerosa, com e sem o auxílio de inteligência artificial explicável. Os médicos receberam a tarefa mais desafiadora de fornecer um diagnóstico diferencial de doenças dermatológicas.

Os pesquisadores descobriram que todas as abordagens de IA explicáveis melhoraram a precisão dos não especialistas, principalmente porque as ferramentas ajudaram os usuários a diagnosticar pintas não cancerosas. 

Além disso, ao empregarem um modelo com restrições de equidade, projetado para combater o preconceito contra tons de pele mais escuros, o sistema melhorou significativamente a precisão e reduziu as disparidades de diagnóstico com base no tom de pele.

“Mas o motivo pelo qual os usuários não especialistas têm um desempenho melhor é porque eles dependem mais dos modelos. Quando o modelo está errado, isso prejudica o desempenho mais do que o beneficia quando o modelo está certo. Nós conseguimos treinar modelos de IA muito bons para esse cenário”, diz Ghassemi.

Esse efeito de deferência é maior com explicações baseadas em modelos de aprendizagem de linguagem (LLM, na sigla em inglês), e os usuários se mostraram mais confiantes em suas respostas incorretas quando auxiliados por um LLM.

Por outro lado, os médicos mostraram-se resistentes a explicações incorretas da IA e, de todos os métodos de explicabilidade, os LLMs são os que menos aumentam a sua precisão.

“Na verdade, tudo se resume a como cada grupo usa a explicação. Um médico já tem um diagnóstico em mente e compara a IA com seu próprio treinamento, então uma explicação ruim é detectada. Enquanto isso, um leigo pode usar exatamente a mesma explicação para formar uma opinião, então uma justificativa plausível e convincente pode levá-lo a uma conclusão errada. A mesma ferramenta acaba sendo uma vantagem para um usuário e uma desvantagem para outro”, diz Xu.

Ao aprofundarem a análise, os pesquisadores descobriram que os usuários que se mostravam mais receptivos à assistência da IA eram os que apresentavam o pior desempenho na tarefa sem o auxílio da IA. 

Eles também descobriram que o momento em que  os usuários recebiam as explicações da IA influenciava seu comportamento. Se uma explicação é dada primeiro, antes que o usuário possa realizar o diagnóstico por conta própria, ele tende a se tornar mais receptivo ao modelo.

Além disso, os sistemas de IA superaram os humanos quando a apresentação da doença era sutil, mas os humanos tiveram um desempenho muito melhor se houvesse sintomas atípicos ou características não relacionadas em uma imagem.

Em conjunto, esses resultados indicam que a IA explicável pode causar uma dependência excessiva dos modelos e levar os usuários a seguirem cegamente as recomendações da IA, mesmo quando estas estão erradas. 

Em vez de usar modelos de lógica latente (LLMs) para gerar explicações mais detalhadas, pode ser mais eficaz forçar os usuários a formularem primeiro uma hipótese diagnóstica e, em seguida, fornecer uma sugestão baseada em IA para destacar outras possíveis condições a serem consideradas. 

“Queremos muito que a IA melhore a criatividade e aprimore as habilidades dos usuários ou preencha as lacunas onde eles não conseguem perceber as sutilezas das apresentações. Caso contrário, corremos o risco de incorrer em viés de automação e, quando o modelo estiver errado, os usuários não conseguirão se recuperar”, afirma Ghassemi. 

Esta pesquisa foi financiada, em parte, pela Fundação Nacional de Ciência (National Science Foundation), pela Schmidt Sciences, pelo Escritório Nacional de Pesquisa Econômica (National Bureau of Economic Research) e pela Universidade de Columbia.